{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# DPO(Direct Preference Optimization)：\n",
    "\n",
    "直接偏好优化方法，通过直接优化语言模型来实现对大模型输出的精确把控，不用进行强化学习，也可以准确判断和学习到使用者的偏好，且效果更加突出。\n",
    "\n",
    "千帆Python SDK 除了支持`Finetune`和`PostPretrain`之外也支持了`DPO`训练以进行直接的强化学习。\n",
    "\n",
    "\n",
    "本例将基于qianfan==0.3.10展示通过Dataset加载本地数据集，并上传到千帆平台，基于`ERNIE-Tiny-8K`进行DPO训练，并使用Model进行批量跑评估数据，直到最终完成服务发布，并最终实现服务调用的完整过程。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "! pip install \"qianfan[dataset_base]\" -U"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'0.3.10'"
      ]
     },
     "execution_count": 1,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import qianfan\n",
    "qianfan.__version__\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 前置准备\n",
    "- 初始化千帆安全认证AK、SK"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import os \n",
    "\n",
    "os.environ[\"QIANFAN_ACCESS_KEY\"] = \"your_ak\"\n",
    "os.environ[\"QIANFAN_SECRET_KEY\"] = \"your_sk\""
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### 导入依赖\n",
    "- `qianfan.trainer.consts` trainer使用中所用到的常量\n",
    "- `qianfan.resources.console.consts` api层面定义的字段常量\n",
    "- `qianfan.trainer.configs` trainer使用所需要的config配置数据类\n",
    "- `qianfan.resources.QfMessages` 用于组装qianfan.ChatCompletion的输入messages\n",
    "- `qianfan.trainer.LLMFinetune` 大语言模型dpo任务Trainer实现\n",
    "- `qianfan.dataset.Dataset` 千帆dataset类，用于管理千帆平台、本地、第三方数据集的导入导出，数据清洗等操作"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "from qianfan.trainer.consts import ActionState\n",
    "from qianfan.model.consts import ServiceType\n",
    "from qianfan.resources.console import consts as console_consts\n",
    "from qianfan.trainer.configs import TrainConfig\n",
    "from qianfan.model.configs import DeployConfig\n",
    "from qianfan.resources import QfMessages\n",
    "from qianfan.trainer import DPO\n",
    "from qianfan.dataset import Dataset\n",
    "from qianfan.utils import enable_log\n",
    "import logging\n",
    "\n",
    "enable_log(logging.INFO)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 数据集加载\n",
    "\n",
    "千帆SDK提供了数据集实现帮助我们可以快速的加载本地的数据集到内存，并通过设定DataSource数据源以保存至本地和千帆平台。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "[INFO] [04-26 18:45:15] dataset.py:408 [t:8423316288]: no data source was provided, construct\n",
      "[INFO] [04-26 18:45:15] dataset.py:276 [t:8423316288]: construct a file data source from path: ./data/dpo_multi_train_template.jsonl, with args: {}\n",
      "[INFO] [04-26 18:45:15] file.py:298 [t:8423316288]: use format type FormatType.Jsonl\n",
      "[INFO] [04-26 18:45:15] utils.py:416 [t:8423316288]: need create cached arrow file for /Users/zhonghanjun/pywp/bce-qianfan-sdk/cookbook/finetune/data/dpo_multi_train_template.jsonl\n",
      "[INFO] [04-26 18:45:15] utils.py:461 [t:8423316288]: start to write arrow table to /Users/zhonghanjun/.qianfan_cache/dataset/Users/zhonghanjun/pywp/bce-qianfan-sdk/cookbook/finetune/data/dpo_multi_train_template.arrow\n",
      "[INFO] [04-26 18:45:15] utils.py:473 [t:8423316288]: writing succeeded\n",
      "[INFO] [04-26 18:45:15] utils.py:347 [t:8423316288]: start to get memory_map from /Users/zhonghanjun/.qianfan_cache/dataset/Users/zhonghanjun/pywp/bce-qianfan-sdk/cookbook/finetune/data/dpo_multi_train_template.arrow\n",
      "[INFO] [04-26 18:45:15] utils.py:275 [t:8423316288]: has got a memory-mapped table\n",
      "[INFO] [04-26 18:45:15] dataset.py:994 [t:8423316288]: list local dataset data by None\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "[[{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}],\n",
       " [{'assistant': '好的，给您生成一些标题：1) 人工智能的未来与挑战； 2) 机器学习在现代生活中的应用； 3) 从AI发展历程看未来发展趋势。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '生成一个关于人工智能的标题吧。'},\n",
       "  {'assistant': '当然，人工智能正在各个行业带来深远影响。以下是一些具体的例子：\\n1. ** 医疗保健： ** AI用于医学影像分析， 帮助医生快速诊断疾病。 它还可以预测疾病风险， 个性化治疗方案， 并改善医疗保健的效率和精确度。\\n2. ** 金融服务： ** 人工智能被用于制定风险模型， 预测市场走势， 进行高频交易， 以及提供智能投资建议。\\n3. ** 制造业： ** 自动化和智能机器人改变了生产线， 提高了生产效率和产品质量。 AI还用于预测维护， 减少设备损坏和停机时间。\\n4. ** 教育： ** AI个性化学习， 根据学生的学习风格和进度制定课程。 它还能提供定制化的教学资源和智能辅导。\\n5. ** 交通运输： ** 自动驾驶汽车利用人工智能技术， 提高了道路安全， 并在未来可能改变整个交通系统。\\n这些是人工智能在各个领域带来革命性变化的一些例子， 它们正在改变我们的生活方式， 提高效率， 并为未来开辟新的可能性。',\n",
       "   'chosen': None,\n",
       "   'rejected': None,\n",
       "   'user': '可以再给我一些具体的例子吗？'},\n",
       "  {'assistant': None,\n",
       "   'chosen': '是的',\n",
       "   'rejected': '不是的',\n",
       "   'user': '会导致这些行业大量失业么？'}]]"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from qianfan.dataset import Dataset\n",
    "\n",
    "# 加载本地数据集\n",
    "ds: Dataset = Dataset.load(data_file=\"./data/dpo_multi_train_template.jsonl\")\n",
    "ds.list()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "从本地数据集上传到BOS"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "[INFO] [04-26 18:45:18] baidu_qianfan.py:455 [t:8423316288]: start to create dataset on qianfan\n",
      "[INFO] [04-26 18:45:18] baidu_qianfan.py:473 [t:8423316288]: create dataset on qianfan successfully\n",
      "[INFO] [04-26 18:45:18] dataset.py:994 [t:8423316288]: list local dataset data by slice(0, 9999, None)\n",
      "[INFO] [04-26 18:45:18] baidu_qianfan.py:241 [t:8423316288]: start to upload data to user BOS\n",
      "[INFO] [04-26 18:45:18] baidu_qianfan.py:250 [t:8423316288]: upload dataset file /Users/zhonghanjun/.qianfan_cache/dataset/.qianfan_download_cache/dg-cf8kwyyjstvq9gyy/ds-xzbihgqvagt7titz/1/data_98dba347-1337-4a22-9c3b-e74de0222b84.jsonl to /sdk_ds_dpo/data_98dba347-1337-4a22-9c3b-e74de0222b84.jsonl\n",
      "[INFO] [04-26 18:45:19] baidu_qianfan.py:253 [t:8423316288]: uploading data to user BOS finished\n",
      "[INFO] [04-26 18:45:20] utils.py:569 [t:8423316288]: successfully create importing task\n",
      "[INFO] [04-26 18:45:22] utils.py:572 [t:8423316288]: polling import task status\n",
      "[INFO] [04-26 18:45:22] utils.py:579 [t:8423316288]: import status: 1, keep polling\n",
      "[INFO] [04-26 18:45:24] utils.py:572 [t:8423316288]: polling import task status\n",
      "[INFO] [04-26 18:45:25] utils.py:579 [t:8423316288]: import status: 1, keep polling\n",
      "[INFO] [04-26 18:45:27] utils.py:572 [t:8423316288]: polling import task status\n",
      "[INFO] [04-26 18:45:27] utils.py:579 [t:8423316288]: import status: 1, keep polling\n",
      "[INFO] [04-26 18:45:29] utils.py:572 [t:8423316288]: polling import task status\n",
      "[INFO] [04-26 18:45:30] utils.py:582 [t:8423316288]: import succeed\n"
     ]
    }
   ],
   "source": [
    "# 保存到千帆平台\n",
    "from qianfan.dataset.data_source import QianfanDataSource\n",
    "from qianfan.resources.console import consts as console_consts\n",
    "\n",
    "bos_bucket_name = \"bucket_name\"\n",
    "bos_bucket_file_path = \"/sdk_ds_dpo/\"\n",
    "qianfan_dataset_name = \"random_sdk_trainer_ds_dpo\"\n",
    "\n",
    "# 创建千帆数据集，并上传保存\n",
    "qianfan_data_source = QianfanDataSource.create_bare_dataset(\n",
    "    name=qianfan_dataset_name,\n",
    "    template_type=console_consts.DataTemplateType.PromptChosenRejected,\n",
    "    storage_type=console_consts.DataStorageType.PrivateBos,\n",
    "    storage_id=bos_bucket_name,\n",
    "    storage_path=bos_bucket_file_path,\n",
    ")\n",
    "\n",
    "ds = ds.save(qianfan_data_source)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### DPO 训练\n",
    "`DPO` 实现了DPO逻辑的trainer，它内部组装了SFT所需要的基本`Pipeline`, 用于串联数据->训练->模型发布->服务调用等步骤"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "from qianfan.trainer.consts import PeftType\n",
    "\n",
    "trainer = DPO(\n",
    "    train_type=\"ERNIE-Tiny-8K\",\n",
    "    train_config=TrainConfig(\n",
    "        epoch=1,\n",
    "        learning_rate=0.000001,\n",
    "        max_seq_len=4096,\n",
    "        peft_type=PeftType.ALL,\n",
    "    ),\n",
    "    dataset=ds,\n",
    ")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 运行任务\n",
    "同步运行trainer，训练直到模型发布完成"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "[INFO] [04-26 18:45:47] utils.py:768 [t:6272888832]: data releasing, keep polling\n",
      "[INFO] [04-26 18:45:50] utils.py:768 [t:6272888832]: data releasing, keep polling\n",
      "[INFO] [04-26 18:45:52] utils.py:768 [t:6272888832]: data releasing, keep polling\n",
      "[INFO] [04-26 18:45:55] utils.py:768 [t:6272888832]: data releasing, keep polling\n",
      "[INFO] [04-26 18:45:57] utils.py:768 [t:6272888832]: data releasing, keep polling\n",
      "[INFO] [04-26 18:46:00] utils.py:775 [t:6272888832]: data releasing succeeded\n",
      "[INFO] [04-26 18:46:03] actions.py:644 [t:6272888832]: [train_action] training ... job_name:job_nVDuV5uzaT current status: Running, 1% check train task log in https://console.bce.baidu.com/qianfan/train/postPretrain/job-kpe3x2y674zz/task-9y230h64gksh/detail/traininglog\n",
      "[INFO] [04-26 18:46:33] actions.py:644 [t:6272888832]: [train_action] training ... job_name:job_nVDuV5uzaT current status: Running, 1% check train task log in https://console.bce.baidu.com/qianfan/train/postPretrain/job-kpe3x2y674zz/task-9y230h64gksh/detail/traininglog\n",
      "[INFO] [04-26 18:47:03] actions.py:644 [t:6272888832]: [train_action] training ... job_name:job_nVDuV5uzaT current status: Running, 3% check train task log in https://console.bce.baidu.com/qianfan/train/postPretrain/job-kpe3x2y674zz/task-9y230h64gksh/detail/traininglog\n",
      "[INFO] [04-26 18:47:34] actions.py:644 [t:6272888832]: [train_action] training ... job_name:job_nVDuV5uzaT current status: Running, 34% check train task log in https://console.bce.baidu.com/qianfan/train/postPretrain/job-kpe3x2y674zz/task-9y230h64gksh/detail/traininglog\n",
      "[INFO] [04-26 18:48:04] actions.py:644 [t:6272888832]: [train_action] training ... job_name:job_nVDuV5uzaT current status: Running, 34% check train task log in https://console.bce.baidu.com/qianfan/train/postPretrain/job-kpe3x2y674zz/task-9y230h64gksh/detail/traininglog\n",
      "[INFO] [04-26 18:48:35] actions.py:644 [t:6272888832]: [train_action] training ... job_name:job_nVDuV5uzaT current status: Running, 34% check train task log in https://console.bce.baidu.com/qianfan/train/postPretrain/job-kpe3x2y674zz/task-9y230h64gksh/detail/traininglog\n",
      "[INFO] [04-26 18:49:05] actions.py:644 [t:6272888832]: [train_action] training ... job_name:job_nVDuV5uzaT current status: Running, 34% check train task log in https://console.bce.baidu.com/qianfan/train/postPretrain/job-kpe3x2y674zz/task-9y230h64gksh/detail/traininglog\n",
      "[INFO] [04-26 18:49:36] actions.py:644 [t:6272888832]: [train_action] training ... job_name:job_nVDuV5uzaT current status: Running, 34% check train task log in https://console.bce.baidu.com/qianfan/train/postPretrain/job-kpe3x2y674zz/task-9y230h64gksh/detail/traininglog\n",
      "[INFO] [04-26 18:50:06] actions.py:644 [t:6272888832]: [train_action] training ... job_name:job_nVDuV5uzaT current status: Running, 65% check train task log in https://console.bce.baidu.com/qianfan/train/postPretrain/job-kpe3x2y674zz/task-9y230h64gksh/detail/traininglog\n",
      "[INFO] [04-26 18:50:06] actions.py:651 [t:6272888832]:  check vdl report in https://console.bce.baidu.com/qianfan/visualdl/index?displayToken=eyJydW5JZCI6InJ1bi1yMHM3ODN3aGs0djNiZzdwIn0=\n",
      "[INFO] [04-26 18:50:37] actions.py:644 [t:6272888832]: [train_action] training ... job_name:job_nVDuV5uzaT current status: Running, 65% check train task log in https://console.bce.baidu.com/qianfan/train/postPretrain/job-kpe3x2y674zz/task-9y230h64gksh/detail/traininglog\n",
      "[INFO] [04-26 18:50:37] actions.py:651 [t:6272888832]:  check vdl report in https://console.bce.baidu.com/qianfan/visualdl/index?displayToken=eyJydW5JZCI6InJ1bi1yMHM3ODN3aGs0djNiZzdwIn0=\n",
      "[INFO] [04-26 18:51:07] actions.py:644 [t:6272888832]: [train_action] training ... job_name:job_nVDuV5uzaT current status: Running, 65% check train task log in https://console.bce.baidu.com/qianfan/train/postPretrain/job-kpe3x2y674zz/task-9y230h64gksh/detail/traininglog\n",
      "[INFO] [04-26 18:51:07] actions.py:651 [t:6272888832]:  check vdl report in https://console.bce.baidu.com/qianfan/visualdl/index?displayToken=eyJydW5JZCI6InJ1bi1yMHM3ODN3aGs0djNiZzdwIn0=\n",
      "[INFO] [04-26 18:51:38] actions.py:644 [t:6272888832]: [train_action] training ... job_name:job_nVDuV5uzaT current status: Running, 65% check train task log in https://console.bce.baidu.com/qianfan/train/postPretrain/job-kpe3x2y674zz/task-9y230h64gksh/detail/traininglog\n",
      "[INFO] [04-26 18:51:38] actions.py:651 [t:6272888832]:  check vdl report in https://console.bce.baidu.com/qianfan/visualdl/index?displayToken=eyJydW5JZCI6InJ1bi1yMHM3ODN3aGs0djNiZzdwIn0=\n",
      "[INFO] [04-26 18:52:08] actions.py:644 [t:6272888832]: [train_action] training ... job_name:job_nVDuV5uzaT current status: Running, 65% check train task log in https://console.bce.baidu.com/qianfan/train/postPretrain/job-kpe3x2y674zz/task-9y230h64gksh/detail/traininglog\n",
      "[INFO] [04-26 18:52:08] actions.py:651 [t:6272888832]:  check vdl report in https://console.bce.baidu.com/qianfan/visualdl/index?displayToken=eyJydW5JZCI6InJ1bi1yMHM3ODN3aGs0djNiZzdwIn0=\n",
      "[INFO] [04-26 18:52:39] actions.py:644 [t:6272888832]: [train_action] training ... job_name:job_nVDuV5uzaT current status: Running, 65% check train task log in https://console.bce.baidu.com/qianfan/train/postPretrain/job-kpe3x2y674zz/task-9y230h64gksh/detail/traininglog\n",
      "[INFO] [04-26 18:52:39] actions.py:651 [t:6272888832]:  check vdl report in https://console.bce.baidu.com/qianfan/visualdl/index?displayToken=eyJydW5JZCI6InJ1bi1yMHM3ODN3aGs0djNiZzdwIn0=\n",
      "[INFO] [04-26 18:53:10] actions.py:644 [t:6272888832]: [train_action] training ... job_name:job_nVDuV5uzaT current status: Running, 99% check train task log in https://console.bce.baidu.com/qianfan/train/postPretrain/job-kpe3x2y674zz/task-9y230h64gksh/detail/traininglog\n",
      "[INFO] [04-26 18:53:10] actions.py:651 [t:6272888832]:  check vdl report in https://console.bce.baidu.com/qianfan/visualdl/index?displayToken=eyJydW5JZCI6InJ1bi1yMHM3ODN3aGs0djNiZzdwIn0=\n",
      "[INFO] [04-26 18:53:40] actions.py:644 [t:6272888832]: [train_action] training ... job_name:job_nVDuV5uzaT current status: Running, 99% check train task log in https://console.bce.baidu.com/qianfan/train/postPretrain/job-kpe3x2y674zz/task-9y230h64gksh/detail/traininglog\n",
      "[INFO] [04-26 18:53:40] actions.py:651 [t:6272888832]:  check vdl report in https://console.bce.baidu.com/qianfan/visualdl/index?displayToken=eyJydW5JZCI6InJ1bi1yMHM3ODN3aGs0djNiZzdwIn0=\n",
      "[INFO] [04-26 18:54:11] actions.py:615 [t:6272888832]: [train_action] training task metrics: {'BLEU-4': '0.17%', 'ROUGE-1': '3.97%', 'ROUGE-2': '0.00%', 'ROUGE-L': '2.12%'}\n",
      "[INFO] [04-26 18:54:11] actions.py:616 [t:6272888832]: [train_action] training task checkpoints: []\n",
      "[INFO] [04-26 18:54:11] actions.py:658 [t:6272888832]: [train_action] training job has ended: job-kpe3x2y674zz/task-9y230h64gksh with status: Done\n",
      "[INFO] [04-26 18:54:11] model.py:219 [t:6272888832]: check train job: task-9y230h64gksh/job-kpe3x2y674zz status before publishing model\n",
      "[INFO] [04-26 18:54:11] model.py:232 [t:6272888832]: model publishing keep polling, current status Done\n",
      "[INFO] [04-26 18:54:12] model.py:270 [t:6272888832]: publishing train task: job-kpe3x2y674zz/task-9y230h64gksh to model: am-1fw9rd5r8mkc/amv-s55pxvh2yy5w\n",
      "[INFO] [04-26 18:54:43] model.py:295 [t:6272888832]: model am-1fw9rd5r8mkc/amv-s55pxvh2yy5w published successfully\n",
      "[INFO] [04-26 18:54:43] model.py:275 [t:6272888832]: publish successfully to model: am-1fw9rd5r8mkc/amv-s55pxvh2yy5w\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "<qianfan.trainer.dpo.DPO at 0x160cf1250>"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "trainer.run()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "获取finetune任务输出："
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'datasets': {'sourceType': 'Platform',\n",
       "  'versions': [{'versionId': 'ds-xzbihgqvagt7titz'}],\n",
       "  'splitRatio': 20},\n",
       " 'task_id': 'task-9y230h64gksh',\n",
       " 'job_id': 'job-kpe3x2y674zz',\n",
       " 'metrics': {'BLEU-4': '0.17%',\n",
       "  'ROUGE-1': '3.97%',\n",
       "  'ROUGE-2': '0.00%',\n",
       "  'ROUGE-L': '2.12%'},\n",
       " 'checkpoints': [],\n",
       " 'model_id': 'am-1fw9rd5r8mkc',\n",
       " 'model_version_id': 'amv-s55pxvh2yy5w',\n",
       " 'model': <qianfan.model.model.Model at 0x1376f6f50>}"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "trainer.output"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "base",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.8"
  },
  "vscode": {
   "interpreter": {
    "hash": "58f7cb64c3a06383b7f18d2a11305edccbad427293a2b4afa7abe8bfc810d4bb"
   }
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}
